在大多数数据科学方法中,最大熵的原理(Maxent)用于后验证明某些参数模型的合理性,这些模型已根据经验,先验知识或计算简单性选择。在传统模型构建的垂直公式中,我们从现象学约束的线性系统开始,渐近地在满足提供的约束集集的所有可行分布上得出了分布。最大分布起着特殊的作用,因为它是所有现象学上可行的分布中最典型的,代表了大N技术的良好膨胀点。这使我们能够以完全DATA驱动的方式始终如一地制定假设检验。数据支持的适当参数模型可以在模型选择结束时始终推导。在Maxent框架中,我们恢复了多个应用程序中使用的主要分数和选择程序,并评估其在数据生成过程中捕获关联并确定最概括的模型的能力。标准模型选择的数据驱动的对应物展示了最大原则提倡的演绎逻辑的统一前景,同时有可能为反问题提供新的见解。
translated by 谷歌翻译
Alzheimer's disease (AD) is a progressive neurological disorder, meaning that the symptoms develop gradually throughout the years. It is also the main cause of dementia, which affects memory, thinking skills, and mental abilities. Nowadays, researchers have moved their interest towards AD detection from spontaneous speech, since it constitutes a time-effective procedure. However, existing state-of-the-art works proposing multimodal approaches do not take into consideration the inter- and intra-modal interactions and propose early and late fusion approaches. To tackle these limitations, we propose deep neural networks, which can be trained in an end-to-end trainable way and capture the inter- and intra-modal interactions. Firstly, each audio file is converted to an image consisting of three channels, i.e., log-Mel spectrogram, delta, and delta-delta. Next, each transcript is passed through a BERT model followed by a gated self-attention layer. Similarly, each image is passed through a Swin Transformer followed by an independent gated self-attention layer. Acoustic features are extracted also from each audio file. Finally, the representation vectors from the different modalities are fed to a tensor fusion layer for capturing the inter-modal interactions. Extensive experiments conducted on the ADReSS Challenge dataset indicate that our introduced approaches obtain valuable advantages over existing research initiatives reaching Accuracy and F1-score up to 86.25% and 85.48% respectively.
translated by 谷歌翻译
深度学习的概括分析通常假定训练会收敛到固定点。但是,最近的结果表明,实际上,用随机梯度下降优化的深神经网络的权重通常无限期振荡。为了减少理论和实践之间的这种差异,本文着重于神经网络的概括,其训练动力不一定会融合到固定点。我们的主要贡献是提出一个统计算法稳定性(SAS)的概念,该算法将经典算法稳定性扩展到非convergergent算法并研究其与泛化的联系。与传统的优化和学习理论观点相比,这种崇高的理论方法可导致新的见解。我们证明,学习算法的时间复杂行为的稳定性与其泛化有关,并在经验上证明了损失动力学如何为概括性能提供线索。我们的发现提供了证据表明,即使训练无限期继续并且权重也不会融合,即使训练持续进行训练,训练更好地概括”的网络也是如此。
translated by 谷歌翻译
将离散域上的功能集成到神经网络中是开发其推理离散对象的能力的关键。但是,离散域是(1)自然不适合基于梯度的优化,并且(2)与依赖于高维矢量空间中表示形式的深度学习体系结构不相容。在这项工作中,我们解决了设置功能的两个困难,这些功能捕获了许多重要的离散问题。首先,我们开发了将设置功能扩展到低维连续域的框架,在该域中,许多扩展是自然定义的。我们的框架包含许多众所周知的扩展,作为特殊情况。其次,为避免不良的低维神经网络瓶颈,我们将低维扩展转换为高维空间中的表示形式,从半际计划进行组合优化的成功中获得了灵感。从经验上讲,我们观察到扩展对无监督的神经组合优化的好处,特别是具有高维其表示。
translated by 谷歌翻译
Where am I? This is one of the most critical questions that any intelligent system should answer to decide whether it navigates to a previously visited area. This problem has long been acknowledged for its challenging nature in simultaneous localization and mapping (SLAM), wherein the robot needs to correctly associate the incoming sensory data to the database allowing consistent map generation. The significant advances in computer vision achieved over the last 20 years, the increased computational power, and the growing demand for long-term exploration contributed to efficiently performing such a complex task with inexpensive perception sensors. In this article, visual loop closure detection, which formulates a solution based solely on appearance input data, is surveyed. We start by briefly introducing place recognition and SLAM concepts in robotics. Then, we describe a loop closure detection system's structure, covering an extensive collection of topics, including the feature extraction, the environment representation, the decision-making step, and the evaluation process. We conclude by discussing open and new research challenges, particularly concerning the robustness in dynamic environments, the computational complexity, and scalability in long-term operations. The article aims to serve as a tutorial and a position paper for newcomers to visual loop closure detection.
translated by 谷歌翻译
我们从光谱的角度解决图形生成问题,首先生成图形laplacian光谱的主要部分,然后构建与这些特征值和特征向量相匹配的图。光谱调节允许直接建模全局和局部图结构,并有助于克服单发图生成器的表达性和模式崩溃问题。我们的新颖的甘(Spectre)称为Spectre,可以使用一声模型来产生比以前可能更大的图。Spectre的表现优于最先进的深度自动回归发电机在建模忠诚方面,同时还避免了昂贵的顺序产生和对节点排序的依赖。一个很好的例子,在相当大的合成和现实图形中,Specter的幽灵比最佳竞争对手的最佳竞争对手的改进是4到170倍,该竞争对手不合适,比自回旋发电机快23至30倍。
translated by 谷歌翻译
车辆(IOV)互联网(IOV),其中互连的车辆彼此通信并在公共网络上与道路基础设施通信,具有令人市性的社会经济利益,但也造成了新的网络身体威胁。车辆攻击者的数据可以使用像蜜罐等系统使用网络威胁情报进行现实地收集。不可否认,配置蜜罐在蜜罐攻击者互动的级别和执行和监测这些蜜罐的任何产生的开销和成本之间引入权衡。我们认为,通过战略性地配置蜜罐来代表IOV的组成部分,可以实现有效的欺骗,并参与攻击者来收集网络威胁情报。在本文中,我们展示了HoneyCar,这是IOV中蜜罐欺骗的新决策支持框架。 Honeycar在国家漏洞数据库(NVD)中的常见漏洞和曝光(CVE)中发现的自主和连通车辆的已知漏洞的存储库,以计算最佳蜜罐配置策略。通过采取游戏理论方法,我们将对手交互模拟作为重复的不完美信息零和游戏,其中IOV网络管理员选择一组漏洞,以便在蜜罐中提供,并且战略攻击者选择IOV的脆弱性在不确定性下剥削。我们的调查是通过检查两种不同版本的游戏,并没有重新配置成本来证实,以赋予网络管理员来确定最佳蜜罐配置。我们在一个现实用例中评估Honeycar,以支持决策者,以确定IOV中的战略部署的最佳蜜罐配置策略。
translated by 谷歌翻译
阿尔茨海默氏病(AD)构成了一种神经退行性疾病,对人们的日常生活造成了严重后果,如果没有可用的治愈方法,请及早诊断出来。阿尔茨海默氏症是痴呆症的最常见原因,它构成了记忆丧失的一般术语。由于痴呆症会影响言语,因此现有的研究计划着重于检测自发言语的痴呆症。然而,关于语音数据转换为对数 - 梅尔频谱图和梅尔频率cepstral系数(MFCC)以及预验证模型的使用,几乎没有做出的工作。同时,关于变压器网络的使用以及两种模式(即语音和笔录)的方式,几乎没有完成工作。为了解决这些局限性,首先我们采用了几个验证的模型,而视觉变压器(VIT)则取得了最高的评估结果。其次,我们提出了多模型模型。更具体地说,我们引入的模型包括封闭式的多模式单元,以控制每种模态对最终分类和跨模式关注的影响,以便以有效的方式捕获两种模态之间的关系。在Adress挑战数据集上进行的广泛实验证明了所提出的模型的有效性及其优于最先进的方法。
translated by 谷歌翻译
阿尔茨海默氏病(AD)是痴呆症的主要原因,伴随着记忆力的丧失,如果未按时诊断,可能会导致人们的日常生活造成严重后果。很少有作品利用基于变压器的网络,尽管获得了高度的精度,但在模型可解释性方面几乎没有完成工作。此外,尽管迷你精神状态考试(MMSE)分数与痴呆症的识别密不可分,但研究工作面临着痴呆症鉴定的任务以及将MMSE分数作为两个独立任务的预测任务。为了解决这些局限性,我们采用了几种基于变压器的模型,伯特(Bert)的准确性最高为87.50%。同时,我们提出了一种可解释的方法来检测基于暹罗网络的准确性高达83.75%的患者。接下来,我们介绍了两个多任务学习模型,其中主要任务是指痴呆症的识别(二进制分类),而辅助辅助学则对应于痴呆症的严重程度(多类分类)。我们的模型在多任务学习环境中检测AD患者的准确度等于86.25%。最后,我们提出了一些新方法,以识别AD患者和非AD的语言模式,包括文本统计,词汇唯一性,单词用法,通过详细的语言分析和解释性技术(LIME)(LIME)。发现表明AD和非AD患者之间的语言差异显着差异。
translated by 谷歌翻译
我们可以使用机器学习来压缩图形数据吗?在图中没有排序对传统压缩算法构成了重大挑战,限制了其可达到的收益以及他们发现相关模式的能力。另一方面,大多数图表压缩方法依赖于域依赖的手工制作表示,并且无法适应不同的底层图分布。这项工作旨在建立必要的原则,无损图形压缩方法应遵循以接近熵储存下限。我们不是对图形分布进行僵化的假设,我们将压缩机作为概率模型制定,可以从数据学习并概括到看不见的实例。我们的“分区和代码”框架需要三个步骤:首先,分区算法将图形分解为子图,然后映射到我们学习概率分布的小词典的元素,最后,熵编码器转换了表示进入比特。所有组件(分区,字典和分发)都是参数化的,可以用梯度下降训练。理论上,从温和条件下理论上比较了几个图形编码的压缩质量,并证明了PNC实现了线性或二次以顶点的数量而产生的压缩增益。经验上,PNC对不同的现实网络产生了显着的压缩改进。
translated by 谷歌翻译